Phủ Đặc ủy được thành lập năm 1961 theo sắc lệnh số 109/TTP do tổng thống Ngô Đình Diệm ký ngày 5 tháng 5 năm 1961 tuy nhiên đến năm 1962 mới bắt đầu hoạt động thu nhận nhân viên và đào tạo tác vụ.[1]

Trước khi thành lập cơ quan này thì nền Đệ Nhất Cộng hòa đã có Sở Nghiên cứu Chính trị Xã hội (SEPES) nhưng đơn vị đó chỉ chú trọng đến việc thu nhập tình báo chính trị mà thôi trong khi những thông tin và hoạt động ngoài tầm chính trị quốc nội thì không có hoạt động. SEPES chỉ mở thêm tác vụ hướng về Bắc Việt sau khi Đoàn Công tác Đặc biệt Miền Trung khám phá ra hệ thống tình báo của lực lượng cộng sản hoạt động phía nam vĩ tuyến 17. CIO vì thế được lập ra với nhiệm vụ điều tra, thu thập tin tình báo chiến lược của Việt Nam Dân chủ Cộng hòa và các nước liên quan; cùng cố vấn cho chính phủ về an ninh quốc gia qua Ủy ban Quốc gia Phối hợp An ninh và Tình báo.[1]

Sau cuộc đảo chánh năm 1963 thì Hội đồng Quân nhân Cách mạng ra lệnh bắt các giám đốc và chủ sự của SEPES và Đoàn Công tác Đặc biệt Miền Trung vì cho họ thuộc phe phái Cần Lao nên Phủ Đặc ủy trở thành cơ quan tình báo duy nhất còn lại. Hoạt động dù vậy hạn chế vì tình hình chính trị bất ổn, liên tiếp những chính phủ được lập lên rồi đổ. Mãi đến năm 1967 thì Phủ Đặc ủy Tình báo Trung ương mới có địa vị vững vàng.[1]